Query Expansion Is More Than Generation: Improving Dense Retrieval through Better Integration
查询扩展不只是生成:通过更好的集成改进稠密检索
🧭 LLM 查询扩展与稠密检索向量集成 ★ 深度解读
University of Arizona
将原查询与 LLM 扩展分别编码后做向量插值,并用无监督前缀估计扩展信任度,单向量提升稠密检索
📌 工作参考价值(4 点)
- 在搜索/推荐中如果使用 LLM 生成 query 改写、语义扩展或类目词,不要直接拼接进 embedding 或仅用扩展文本检索;把原始 query 和扩展分别过 query encoder,再做归一化向量插值,权重 α 显式控制扩展贡献,可避免 token 截断、attention 纠缠带来的退化。
- 无监督在线校准 α:用流量前 8-16 个无标注 query 估计 stream-level α,按 r_top1 × r_sup 计算,即扩展自身检索强度 × 与原始 query top10 证据一致度;电商搜索流或推荐 query 流可零标注启动,之后冻结为单向量服务。
- 工程架构上,如果只需同一 dense space 的线性融合,用单向量 AnchorQE 等价加权 CombSUM,一次 ANN 检索即可,不要做 N+1 路融合;但混合 sparse/dense 或非线性融合不适用。
- 扩展质量仍是上限:集成只能控制影响,不能修复 LLM 生成的无关内容;生成质量差时应优先优化 prompt 或过滤,而不是只调 α。